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Résumé 

A une représentation unitaire irréductible tt d'un groupe de Lie G, on sait associer 
un ensemble moment I^, partie du dual g* de l'algèbre de Lie G. Malheureusement, 
cet ensemble ne caractérise pas la représentation tt. 

Cependant, il est parfois possible de construire un surgroupe G'^ de G, d'associer 
à TT, une représentation tt"*" de G~^ tels que /^+ caractérise tt, au moins pour les 
représentations tt génériques. Si cette construction n'utilise que les fonctions poly- 
nomiales de degré inférieur ou égal à 2, on dit que est un surgroupe quadratique. 
Dans cet article, on établit l'existence de tels surgroupes quadratiques pour de 
classes variées de groupe G. 

Abstract 

Let TT be an unitary irreducible représentation of a Lie group G. tt defines a 
moment set subset of the dual g* of the Lie algebra of G. Unfortunately, 
does not characterize tt. 

However, we sometimes can find an overgroup G^ for G, and associate, to tt, a 
représentation tt"'" of G"*" in such a manner that 1,^+ characterizes tt, at least for 
generic représentations tt. If this construction is based on polynomial functions 
with degree at most 2, we say that G"*" is a quadratic overgroup for G. 
In this paper, we prove the existence of such a quadratic overgroup for many dif- 
férent classes of G. 



1. Introduction 

Soit G un groupe de Lie, q* le dual de son algèbre de Lie, (tt, !K) une 
représentation unitaire irréductible de G et l'ensemble des vecteurs 
C°° de TT. L'ensemble moment de vr est par définition : 
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En général, est l'enveloppe convexe fermée d'une orbite coadjointe 
0^ associée à n (c.f |A-L| ) : 



= Conv(O^). 

Malheureusement, il existe de nombreux exemples d'orbites coadjointes 
distinctes et 0' telle que Conv(O) = Conv(O'). L'ensemble moment 
I„ ne caractérise donc en général pas la représentation tt, même si on 
se restreint aux représentations génériques de G. 

Dans |A-S| . on suppose G exponentiel et on propose de considérer 
un surgroupe G"*" de G, d'algèbre de Lie g"*", une application ip de 
Q* dans (g'*')*, non linéaire, telle que si p est l'opérateur restriction 
p : (g^)* ^ Q* , p o ip = idg*. De plus, on introduit une application 

$ : G ^ G+ telle que, pour les orbites correspondantes 0$(,r) = v{^tt), 
et que /$(,r) = -^<ï>(7r') si et seulement si vr ~ tt' . 

Malheureusement, l'application n'est pas régulière et dépend de beau- 
coup de choix. Par contre des exemples sont donnés pour lesquels 
une application ip quadratique suffit pour séparer les représentations 
génériques de G. 

L'objet de ce travail est de généraliser ce procédé à des classes de 
groupes pas nécessairement résolubles mais en imposant à ip d'être 
polynomiale de degré inférieure ou égale à 2. On dira alors que le sur- 
groupe G~^ est quadratique. 

On cherche ici des critères qui garantissent l'existence d'un surgroupe 
quadratique et d'une application $ qui permettent de séparer les repré- 
sentations unitaires irréductibles génériques de G. 
Plus présisément, on établit d'abord un lemme de stricte convexité, une 
application quadratique permet essentiellement de passer de l'enveloppe 
convexe d'une partie A de M" à la partie elle même. 
Si G est exponentiel spécial, on applique ce lemme à l'ensemble mo- 
ment d'une représentation induite vr de G et à un surgroupe construit à 
partir d'un idéal abélien a bien placé de G. On montre alors qu'un sur- 
groupe quadratique et une application $ séparant les représentations 
génériques de G existent. 

Supposons maintenant G nilpotent connexe et simplement connexe. Si 
G est spécial ou si les fonctions polynomiales invariantes sur g* qui 
séparent les orbites génériques sont de degré inférieur ou égal à 2, puis 
si G est nilpotent simplement connexe et de dimension inférieure ou 
égale à 6, on montre que G admet un surgroupe quadratique. 
On étude ensuite les cas des groupes résolubles de dimension inférieure 
ou égale à 4, puis le cas de SL{2, M) et de son revêtement universel 
et l'exemple d'un produit semi direct G = 5*0 (4) x avec des inva- 
riants de degré élevé. Dans chaque cas, on construit explicitement un 
surgroupe quadratique. 



surgroupes quadratiques 

2. Une propriété de stricte convexité 
Le but de ce paragraphe est la preuve de : 
Lemme 2.1. Soit (f la fonction définie par : 

(/? : M" ^ M^", ip{xi, X2, Xn) = {Xi, X2, Xn, X^, xj, 

et p la projection canonique p : IR^" — > R", 

p{xi, X2, Xn, yi, y2, ■-, Vn) = (^^1, X2, Xn). 



Soit A C M", alors si Conv(S) désigne l'enveloppe convexe fermée de 
la partie B de R^"*, 



p(Conv((/?(A)) n ip{W)) = A. 

Preuve 

Notons ^{X) = (X,X2). Soit <f{X) G CÔ^{<^{A)) n ^{W). 

Pour tout £ > 0, il existe q, X^,...,X'^ e A et ti,...,tq > tels que 
g 

I]i. = let 



Ux,x')-Y,t,{x^,{x 



''''Win 



< e . 



où ||||2n est la norme euclidienne usuelle sur R^". 
On a alors : 

n q n q 

J2 + E - E^i(4)T < e'. (*) 

k=l j=l k=l j=l 

Pour chaque k — 1,2, ...,n, on considère les vecteurs suivants de 





/ Vhxl \ 




( ^ 


s/h \ 


Vk = 




et Wk = 








\ Vt~q< ) 




\ ^ 


A/ 



La borne inférieure de \\vk + s^tJfeUg, (s G M) est atteinte au point 

q 

Sk = -{vk, Wk) = - '^'tjxi, elle vaut 
i=i 

q q 

Uk = inf \\vk + sWkWl ^ J2^^^^k)^ ~ iJ2^^^k)^- 

j=i j=i 

Si 

On pose Y ^ \ \ 1 G R"^. La relation (*) s'écrit : 



\X + Yrn+\\X^-J2t,iX^)Yn<e'. 



4 D. ARNAL, M. SELMI ET A. ZERGANE 

Donc 

n q n n 

^ ^\i4)-{skf\^^\^k-Sk\\xk + Sk\ 

k=l j=l k=l k=l 

n 

< J]£(2|xfc|+£) <£' + 2v/^||X||„£. 
fe=l 

Par suite 

n n q q 

k=l k=l 3=1 j=l 

n q 

< {s' + 2^\\X\Ue) + J2 Y.^hi<f - 4) <e' + V^e{2\\X\\^ + 1). 

k=i j=i 

Mais 

q 

ak = ll^^fc + SkWkWl = ^tj{xl + Skf, 

on a donc : 

q n q 

^ E Ek + = E t^w^' + m <e'+ v^e{2\\x\i + 1). 

j=i k=i j=i 

Choisissons jo tel que \\X^° + = min \\X^ + Y\\n, on a : 

j 

wx^" + y\\l < E ^^11^' + ^iin < <^ + Mmwn + 1)) = se'. 

Donc 

11^ lin < 2e' et X^°eA. 

D'où X appartient à A. Ce qui prouve le lemme, puisque la réciproque 
est évidente (chaque X de ^4 est la limite d'une suite {X'^) de points 
de A, X''^p{X\ (X'^f), et {X\ (X'^f) e conv{<p{A))). 



3. Les groupes exponentiels spéciaux 

Définition 3.1 (Algèbre spéciale). Une algèbre de Lie résoluble g est 

dite spéciale si elle admet un idéal abélien a dont la codimension est la 

moitié de la dimension des orbites coadjointes génériques. 

Un groupe de Lie connexe G est dit spécial si son algèbre de Lie est 

spéciale. 

Soit G un groupe de Lie spécial, alors l'idéal a est unique et fournit 
une polarisation pour tous les points i de g* tels que : 

- dim G.i — codim a. 
2 



SURGROUPES QUADRATIQUES 



5 



En effet, soit Qq = {0} C 0i C ■ • • C 0„ = une bonne suite de sous al- 
gèbres passant par a et i)i = '^^Qj{(^\g.) la polarisation de M.Vergne en 
i correspondante. Par construction, 0fc(£fc) = a C f)^ et dim a = dim t)e 
donc a= 

Soit alors 0*g„ = {i, dim G.i = codim a}, c'est un ouvert de Zariski, 
G-invariant, non vide de g* . 

Supposons maintenant que G est exponentiel et spécial. Dans ce cas 
G possède un surgroupe quadratique (c.f |A-Sj ). 



Théorème 3.1. Soit G un groupe de Lie exponentiel et spécial, a l'idéal 

abélien de g de codimension - max(dim G.i), m l'espace vectoriel S'^{a) 

2 e^B* 

vu comme un groupe additif. Notons G gen l'ensemble des représenta- 
tions irréductibles de G associées aux orbites de g^en- 
On définit : 

G+ = G K m 

avec l'action : Adg{XY) = AdgXAdgY , (X,Y G a), 

V-Q* ^ (fl^)* = 0* X m* 
par = {£, (£|J2), sz (£, J^(XF) = £(X)£(F), 

en prenant pour $(7r) l'unique prolongement irréductible de n à G^ . 
Alors, G^ est un surgroupe quadratique de G. 



On rappelle ici rapidement la preuve de |A-S| pour être complet : 
Preuve ^ 

D'abord le dual unitaire G d'un groupe exponentiel est homéomorphe 
avec l'ensemble g* /G de ses orbites coadjointes. L'ensemble G gen est 
donc dense dans G pour sa topologie naturelle. De plus on sait (c.f 
|A-L| ) que l'ensemble moment de la représentation vr associée à l'orbite 
0^ est 

On montre alors que (c.f |A-S| ). pour tout £ de g*gem 

G+{^{i)) = viG.i). 

Si p est la restriction canonique p : (g"*") * — g* , on déduit de po(p = idg* , 
que p est un difféomorphisme de l'orbite coadjointe de ip{i) sur celle de 
£, pour tout i de g*gen- 

Soit TT G G gen, H cxistc douc i G g*gen tel que si / = TT = Ind^p((j)e*'^. 
Posons 

^VV ■'"'^*-'exp(a)i><m'^ 
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(ici on a noté (/, /^) la restriction de ip{i) à a© m). 
<î>(7r) se réalise sur le même espace de Hilbert que n et $(7r) est une 
extension de vr. On en déduit que $(7r) est irréductible, de plus $(7r) 
est une représentation induite, son ensemble moment est d'après |A-L| : 

= C^(G+.((/, f) + (a © m)^)). 

Mais a © m est un idéal de g"*", et puisque est connexe : 

^+.((0 © m)^) = (a © m)^, \/g+ G G+. 

(Remarquons que G'^ peut ne pas être exponentiel) alors : 

= (G+.((/, f)) + (a © m)^) . 

Maintenant, dans g*, £ + 0"*" C GI donc, dans (0^)*, (a©m)"'" est inclus 
dans G~^.{i, p). On a donc : 

/$(^) = C^(G+(£, f)) = C^{G+if{e)) = C^{if{G.i)). 
Si TT et tt' sont deux représentations de G^en telles que 

alors, si n' est associée à l'orbite G.i' : 

i<f{n) n v?(0*) = i<f{n') n V?(0*) 

c'est-à-dire 

(C^iviGI))) n ^(0*) = (c^iviGl))) n ^(0*) 

et le lemme de stricte convexité donne G.i = G.i'. 
Comme G est exponentiel, ses orbites sont ouvertes dans leurs ad- 
hérences donc G.i = G.i' et TT = vr'. 



4. Les groupes nilpotents de petite dimension 

4.1. Algêbres spéciales. 

Dans cette partie, G est nilpotent, connexe et simplement connexe. 
Si son algèbre de Lie est spéciale, on vient de voir que G admet un 
surgroupe quadratique : c'est par exemple le cas de l'exemple de Wild- 
berger de dimension 6 (on notera ici son algèbre de Lie 06,13), (c.f |Wil| 
où des orbites coadj ointes distinctes peuvent avoir la même enveloppe 
convexe). 

Une algèbre de Lie est dite indécomposable si elle n'est pas la somme di- 
recte de deux idéaux. Les algèbres nilpotentes indécomposables réelles 
telles que dimg < 6 sont connues (c.f |Mag , [Gôïï] ). Nous prenons ici 
la notation de |Mag| . 

La majorité de ces algèbres sont spéciales. A un isomorphisme com- 
plexe près, avec les notations de |Mag| , les algèbres indécomposables 



SURGROUPES QUADRATIQUES 
spéciales de dimension inférieure ou égale à 6 sont 



7 



Algèbre 


Relations de commutations 


Idéal Cl 


01 


01 est abélienne 


01 


i}à 


[Xl,X2 


= ^3 


vectfXo X-i) 


04 


[Xl,X2 


= X3, [Xi, X3] = X4 


vect(X2,X3,X4) 


y5,i 


[Xi , X3 


— -^5) [-^^2, X4 


= x. 


vectfX, Xa X^) 


05,2 


[Xl,X2 


= X4, [Xi, X3 


= x. 


vect(X2,X3,X4,X5) 


4)5,3 


\Y Y„] Y. \Y Y.] Y 

[X2, X3] = X5 


vectCX-j Xa X^) 


fie t: 

y5,5 


\Y Y ] — Y lY Y ] — Y. 
[Al, A2J — A3, [Al, A3J — A4, 

[Xi , X4] = X5 


vectfXo Xq Xa Xk) 


05,6 


\Y Y ] — Y \Y Y ] — Y 
[Al, A2J — A3, [Al, A3J — A4, 

[Xi, X4] = X^, [X2, X2] — x^ 


VPCtfXQ Xa Xk) 


06,1 


\Y Y ^ — Y \Y Y A Y 

[Al, A2J — A5, [Al, A4J — Ag, 

[X2 , ^3] = Xq 


vt;uL\^^3, y^5, ^aj 


y6,2 


\Y Y } — Y \Y Y } — Y 
[Al, A2J — A5, [Al, A5J — Ag, 

[-^3 5 -^4] = Xq 


VPCtfXo Xa Xr. X«l 


4)6,4 


\Y Y } — Y . \Y Y } — Y 
[Al, A2J — A4, [Al, A3J — Ag, 

[X2, X4] = X5 


vppt l Yn Y A Y f Yr' 1 
vci^L\^^3, ^4, ^5, ^QJ 


4)6,5 


[Xi, X2] = X4, [Xi, X4] = X5, 

\Y y \ — Y \Y YA — Y 
[A2, A3J — Ag, [A2, A4J — Ag 


VPCtfXq Xa Xp; Xa) 


4)6,6 


[Xi, X2] = X4, [X2, X3] = Xg, 

[X2, X4] = X5 


VPCtfXi Xq Xa X.; Xa) 


4)6,7 


W Y ^ Y \Y Y ^ Y 

[Al, A2J — A4, [Al, A3J — A5, 

[Xi, X4] = Xg, [X2, X3] = — Xg 


VPCtfXQ Xa X.; Xa) 


06,8 


\Y. Y7\ — Y. \Y, Y A — Y. 
[Al, A2J — A4, [Al, A4J — A5, 

[X2, X3] = X5, [X2, X4] — Xq 


vect(X3,X4,X5,X6) 


06,9 


[Xi, X2] = X4, [Xi, X3] = X5, 
[X2, X5] = Xg, [X3, X4] = Xg 


vect(Xi, X4, X5, Xg) 


06,10 


[Xi, X2] = X4, [Xi, X3] = X5, 
[Xi, X4] = Xg, [X3, X5] = Xg 


VPftl'Ao Y A Y^ Y a) 

vt;L^H^v\2) ^4) ^5) 


4)6,11 


[Xi, X2] = X4, [Xi, X4] = X5, 
[Xi, X5] = Xg, [X2, X3] = Xg 


vppt ( Y yi Yc Yc 1 


06,12 


[Xi, X2] = X4, [Xi, X4] = X5, 
[Xi , X5] = Xg , [X2 , X3] = Xg , 
[X2.XJ =Xo 


vect(X3,X4,X5,Xg) 


06,13 


[Xi, X2] = X4, [Xi, X4] = X5, 
[Xi, X5] = Xg, [X2, X3] — X5, 

[^3 5 X/^ = —Xq 


vect(X2,X4,X5,X6) 


06,14 


[Xi, X2] = X3, [Xi, X3] = X4, 
[Xi, X4] = X5, [X2, X3] = Xg 


vect(X3,X4,X5,Xg) 
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Algèbre 


Relations de commutations 


Idéal a 


06,15 


[Al, A2J = A3, [Al, A3J = A4, 
[Xi, X5] = Xg, [X2, X3] = X5, 
[X2 , X4] = Xg 


vect(X3,X4,X5,X6) 


06,16 


[Al, A2J = A3, [Al, A3J = A4, 

[Xi, X4] = X5, [Xi, X5] = Xq 


Vect(X2,X3,X4,X5,X6) 


06,17 


[Xi, X2] = X3, [Xi, X3] = X4, 

[Al, A4J = A5, [Al, A5J = Ag, 
[X2 , X3] = Xg 


vect(X3,X4,X5,X6) 


06,19 


[Xi, X2] = X3, [Xi, X3] = X4, 

[Xi, X4] = X5, [Xi, X5] = Xg, 
[X2, X3] = X5, [X2, X4] = Xg 


vect(X3,X4,X5,X6) 



Il existe de plus quatre algèbres nilpotentes réelles de dimension in- 
férieure ou égale à 6 qui sont isomorphes sur C à une de ces algèbres, 
mais pas sur M. Ces quatre algèbres sont toutes spéciales : 



Algèbre 


Relations de commutations 


Idéal a 


06,5a 


[Xi, X2] = X3, [Xi, X3] = X5, 
[Xi, X4] = Xg, [X2, X3] = — Xg, 
[X2, X4] = X5 


vect(X3,X4,X5,Xg) 


06,6a 


[Xi, X3] = X5, [X2, X4] = X5, 
[Xi, X4] = Xg, [X2, X3] = — Xg 


vect(X3,X4,X5,Xg) 


06,9a 


[Xi, X2] = X4, [Xi, X3] = X5, 
[X2, X4] = Xg, [X3, X5] = Xg 


vect(Xi,X4,X5,Xg) 


06,15a 


[Xi, X2] = X3, [Xi, X3] = X4, 
[Xi, X4] = — Xg, [X2, X3] = X5 
[X2, X5] = — Xg 


vect(X3,X4,X5,Xg) 



4.2. Invariants quadratiques. 

On sait que l'algèbre J(g) des fonctions rationnelles sur g invariantes 
sous l'action de G est de la forme M(/ii,/i2, ■■■,fJ'r), où les fij sont des 
fonctions polynomiales invariantes sur g (c.f | Ver| ) . 

Lemme 4.1. Si g est telle qu'on peut choisir les fij tous de degré au 
plus 2, alors G admet un surgroupe quadratique. 

Preuve 

On pose G^ = Gx W et 

y^: 0* - (0+r 

i ^ (£,/ii(£),^2W,...,/XrW) 

Les représentations génériques de G sont en bijection avec les orbites 
génériques de g*, qui sont caractérisées par la valeur des fij sur 
(c.f |Ver| ). Le groupe de Lie G^ est nilpotent, connexe et simplement 
connexe. Si vr est la représentation de G associée à une orbite générique 
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GI de g*, on pose: 

Par construction, I^^-,,) est : 

h{iT) = InX {/il(^), /i2(^), • • • , /ir(^)}- 

Cet ensemble caractérise donc bien G.i et donc vr. Par suite G"*" est un 
surgroupe quadratique pour G. 

Parmis les algèbres non spéciales celles dont les invariants sont engen- 
drés par des polynômes au plus quadratiques sont les suivantes : 
On note i = {xi,X2, ■■■■,xq) un point quelconque de g*. 



Algèbre 


Relations de commutation 


Invariants 


05,4 


[Xi, X2] = X3, [Xi, X3] = X4, 


X5, X4, 




[X2, X3] = X5 


/il = X1X5 - X4X2 + -X3 

^ 


06,3 


[Xi, X2] = X4, [Xi, X3] = X5, 


2^65 2:5, X4, 




[X2, X3] = Xq 


Hi = XqXi — 2J52J2 ~l~ X4X3 


06,18 


[Xi, X2] = X3, [Xi, X3] = X4, 






[Xi, X4] = X5, [X2, X5] = Xq, 


fil = XqXi + X3X5 - 




[^3, = —Xq 





4.3. L'Algèbre 06,2o- 

Il reste une seule algèbre de Lie nilpotente indécomposable, 06,20, qui 
n'est pas spéciale et dont un des invariants est cubique : 
Soit = 06,20 définie par les relations : 

[Xi, X2] = X3, [Xi, X3] = X4, [Xi, X4] = X5, 

[X2, X3] = X5, [X2, X5] = X6, [X3, X4] = — X6. 

Pour l = {xi,X2, ....,Xq) g 06 205 donne une paramétrisation de 
l'orbite Gl au point io = (Ai, 0, 0, 0, 0, A6), Ae 7^ par : 

G.io = |(Ai -piq2 - yg2 + y??,P2,Pi + y'iI, -Aegi, A6g2, A6)| 

avec (pi,P2, 9i, 92) G H^^- Le polynôme invariant associé à Ai est donc 
cubique : 

/il = xixl + X3X5X6 - ^xl - ^xIxq. 

Un calcul direct semblable à celui de |A-S| montre que les deux orbites 
génériques = G.(0, 0, 1, 0, 0, 1) et 0' = G.{0, 0, 1, 0, Vs, 1) ont même 
enveloppe convexe. Cependant : 

Lemme 4.2. Le groupe G = exp (06,20) admet un surgroupe quadra- 
tique. 
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Preuve 

Puisque l'idéal a = Vect(X4, X5, Xq) est abélien, on peut donc construi- 
re le groupe nilpotent : 

comme ci-dessus. L'application ip : g* — > (0^)* définie, comme ci- 
dessus, par : 

<p{e)^{£,f), si / = 

est quadratique, vérifie p o (f — idg* et (fi{G.i) — G'^{(f{i)) pour tout i 
dans 0*,,„ = {f., xej^O}. 

Posons donc ^(vr) = tt'*', où tt^ est la représentation de G+ associée 
à l'orbite tpiGI), tt'*' est irréductible, c'est en fait une extension de tt, 
réalisée dans le même espace. 

Soient maintenant ^0 — {^ii 0, 0, 0, 0, Ag) dans g^en- On note : 

et q : (g'*')* — > a* © m* la projection obtenue par restriction. 
On a : 

Montrons l'inclusion réciproque : 

Soit f+ dans Conv G^{ip{io)) n q'\Ç>{a*)). Pour tout £ > 0, il existe 
et dans Conv G+{^{io)) n q~\^{a*)) tel que - it\\ < s. Il existe 

des tj > tels que = 1 et : 

j 

it={{x^,X2,Xs),{f,f)) = Yl^j{9jio:{9jfof) 

j 

j 

Par stricte convexité de u 1 — > u^, on en déduit que si 

9j^l — (•^Ij) •^2^') -^Sj) •^4j) -^Sj) -^ôj) 

alors XQj = xe et C^^ijXbjY = ''^^ij^lj = x\. Donc, pour tout j, 

3 3 
X5j — X5 et de même X4j — X4. 

On en déduit la valeur de ^1 sur £f : 

l^iiK) = ^iC^tj^ij) + X5XQQ2tjX3j) - {^xl + ^xlxe) 

3 3 
= ^ tj/li (fir/o) = ^ tjHi (4) = lli (4) 
3 3 

et donc appartient à G'^(fi{io). Mais cet ensemble est : 
G+<f{^o)^{i-^^{{xi,X2,Xs),if,f)), et Xe^Ae}. 
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Il est fermé, d'où l'égalité. 

Par suite, on conclut que si vr et vr' sont génériques telles que It,+ = It,'+, 
et si 71 est associée à GIq, n' à G.£q, on a : 

G.io=piv{G.io)) = p(C^G+(vp(£o))ng-i(^(a*))) 

= p(4+ng-i(^(a*))) 

= p{I^,^nq-\^{a*))) = GI', 

donc TT = tt'. 



4.4. Les algêbres de dimension < 6. 

Soit maintenant une algèbre nilpotente réelle q décomposable, de 
dimension inférieure ou égale à 6, c'est-à-dire g est le produit direct 
= 01 X 02 X •••• X 0fc d'algèbres indécomposables, alors : 

Lemme 4.3. 5'^ q est décomposable réelle de dimension inférieure ou 
égale à 6, alors G = exp g admet un surgroupe quadratique. 

Preuve 

On fait cette preuve pour A; = 2, le cas général est similaire. 
En identifiant 0* à g* x g^, posons g*e„ = g*^g„ x Q*g^^ et 

G = exp(g) = GixG2= exp(gi) x exp(g2). 

Notons Gf (resp G^) un surgroupe quadratique pour Gi (resp G2). 
Pour tout i = {il, £2) de g*g„, on a : 

GI = GiA X G2.i2 et G = GiX 62. 

En gardant les notations ci-dessus, on pose : 

G+ = GtxGt, v>=ifuf2) et $ = ($i,$2). 

On vérifie immédiatement que G^ est un surgroupe quadratique pour 
G. On a finalement prouvé : 

Théorème 4.1. Soit G un groupe de Lie nilpotent, connexe et simple- 
ment connexe de dimension inférieure ou égale à 6, alors G admet un 
surgroupe quadratique. 



5. Les groupes résolubles de petite dimension 

5.1. Les groupes exponentiels. 

Les algèbres de Lie résolubles réelles de dimension au plus 4 ont été 
classées par J. Dozias (c.f |Doz| et |Ber| . chapitre 8). Une telle algèbre g 



est exponentielle si ses racines sont de la forme p{l + ia), avec p G g*, a 
réel. Les algèbres exponentielles, indécomposables, non nilpotentes de 
dimension au plus 4 sont toutes spéciales, sauf une g4,9(0). On donne 
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ci-dessous leur liste et l'idéal a correspondant : 



Algèbre 


Relations de commutations 


Idéal a 


02 


[Xi , X2 


= X2 


vect(X2) 


03,2(tt), 

\a\ > 1 


[X,,X2]=X2,[X,,X,] = aX, 


vect(X2,X3) 


03,3 


[Xi, X2] = X2 + X3, 
[Xi , X3] = X3 


vect(X2,X3) 


03,4(a), 
a > 


[Xi, X2] = 0X2 — X3, 
[Xi,X3] = X2 + aXs 


vect(X2,X3) 


04,1 


[Xi, X3] = X3, [Xi, X4] = X4, 
[X2, X3] = X4 


vect(X3,X4) 


04,4 


[Xi,X2 


— X3, [Xi, X4] — X4 


vect(X2,X3,X4) 


04,5(a,/?), 
-1< a < /3 < 
ou 

< a < /? < 1 
ou 

(0 < /3 < 1 et 
-1 < a < 0) 


[Xi,X2]=X2,[Xi,X3] = aX3, 
[Xi,X4]=/3X4 


vect(X2,X3,X4) 


04.6(a), 
a 7^ 


[Xi, X2] = 0X2, [Xi, X3] = X3 + X4, 
[Xi, X4] = X4 


vect(X2,X3,X4) 


04,7 


[Xi, X2] = X2 + X3, 

[Xi, X3] = X3 + X4, [Xi, X4] = X4 


vect(X2,X3,X4) 


04,8(a,/9), 


[Xi, X2] = q;X2, [Xi, X3] = /3X3 - X4, 

[Xi,X4] =X3+/5X4 


vect(X2,X3,X4) 


04,9(tt), 

a^l,0<a<2 


[X2, X3] = X4, [Xi, X2] = (a - 1)X2, 
[Xi, X3] = X3, [Xi, X4] = 0X4 


vect(X3,X4) 


04,10 


[X2, X3] = X4, [Xi, X2] = X2 + X3, 

[Xi, X3] = X3, [Xi, X4] = 2X4 


vect(X3,X4) 


04,ii(a), 
a > 


[X2, X3] = X4, [Xi, X2] = «X2 - X3, 
[Xi, X3] = X2 + aX3, [Xi, X4] = 2aX4 


vect(X3,X4) 



L'algèbre 04,9(0) n'est pas spéciale mais ses orbites génériques {x^ ^ 0) 
peuvent être paramétrées comme suit : 



i = (Al A4g, A4) = (Al H ,a;2,a;3, A4). 

Ces orbites sont caractérisées par les valeurs de fonctions invariantes : 

A4 = X4, iJ>i — X4X1 — X4X1 — X2XS 

qui sont polynomiales de degré inférieure ou égale à 2. Si g est une al- 
gèbre exponentielle décomposable, de dimension inférieure ou égale à 4, 
le même argument que dans le cas nilpotent nous fournit un surgroupe 
quadratique. 

Proposition 5.1. Tout groupe de Lie G exponentiel de dimension in- 
férieure ou égale à 4 admet un surgroupe quadratique. 
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5.2. Les groupes résolubles non exponentiels. 

Si G est résoluble simplement connexe de dimension au plus 4, non 
exponentiel alors G est de type I (les orbites coadj ointes sont ouvertes 
dans leurs adhérence), ses représentations unitaires irréductibles tt sont 
données par la théorie d'Auslander-Kostant (c.f |A-K| ). Elles sont as- 
sociées à une orbite coadjointe Gl et d'après |A-L| : = Conv Gl. 
Cependant, en général, plusieurs représentations inéquivalentes sont 
associées à la même orbite. L'objet géométrique naturellement asso- 
cié à la représentation est un fibré au dessus de l'orbite. Si de plus 
la dimension de G est inférieure ou égale à 4, l'ensemble de ces fibrés 
pour les orbites génériques peut être représenté comme une partie M 

de 0*en X ^• 

Dans ce qui suit, nous construirons donc un surgroupe de Lie résoluble 
G^^ de G, une application polynomiale ip'^^ : M — > (g^'^)* de degré 2 
et une application $ : G ^ G++ telles que si est la restriction 

de £++ G à : 



++ _ 



id„ 



et G++v9++(£, e) = e)), 



e 



gen- 



Si m = {i,e) G M caractérise la représentation tt G G alors $(7r) est 
un prolongement canonique de vr à G^~^ 



I<s>{tt') alors vr 



Si TT et vr' dans Ggen sont tels 
tt'. Par extension, on dira alors que G 



que J$(^) 
admet un surgroupe quadratique. 

En fait, il y a 4 algêbres résolubles non exponentielles, de dimension 
inférieure ou égale à 4 dont 3 sont spéciales, la dernière, 04,ii(O) admet 
un invariant quadratique. 



Algèbre 


Relations de commutations 


Idéal a 


03,4(0) 


[Xi, X2] = —X3, [Xi, X3] = X2 


vect(X2,X3) 


04,2 


[Xi, X2] = X3, [Xi, X4] = X4, 

[X2,X3] = — X4, [X2,X4] = X3, 


vect(X3,X4) 


04,8(a,O), 
a > 


[Xi, X2] = 0X2, [Xi, X3] = -X4, 
[Xi , X4] = X3 


vect(X2,X3,X4) 



Algèbre 


Relations de commutations 


Invariants 


04,11 (0) 


[X2,X3] = X4, [Xi,X2] = — X3, 

[Xi , X3] = X2 


X4, 



Avec les mêmes raisonnements que ci-dessus pour chacune de ces al- 
gêbres, on construit une suralgèbre 0'*' et une application de degré 2, 
(^ + : 0* ^ (0+)*, tel le que j9 o y+ = id^*, ^^{GI) = G+v?(£). 
Si C^(G+(^(£)) = C^(G+^(f )) alors G.£ = Gl, {£ et £' dans gl^„). 
Pour les algêbres restantes, on paramétrise ci dessous les orbites généri- 
ques et on cacule le stabilisateur d'un point. 

Par exemple, pour l'algèbre de Lie, 04,8 («,0), les orbites génériques 
sont les orbites des points : 

£0 = (0, ±l,r cos6',r sin6'), r>0 
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On peut paramétrer ces orbites ainsi : un point ^ appartient à GIq si 
et seulement si : 

£ = (p, ±e°'^,rcos(g + 6'),rsin(g + 6')) (p, g G M). 

Le stabilisateur (^4,8(^0) du point £0 est connexe, c'est : 

^4,8(4) = exp < ±-Jm(re*^(x3 + iXi))X2 + X3X3 + X4X4 l 



On obtient de même, pour les algèbres restantes, le tableau suivant : 



Algèbre 


Orbite générique GIq 


^(4) 


03,4(0) 


£o = (0,r, 0),r>0 
£ = (p, r ces g, r sin q) 


exp RX2 X exp 27rZXi 


04,2 


^0 = (0,0, 1,0) 

^ = (P2 , , e*^^ ces çi , e'^^ sin qi ) 


exp 27rZX2 


04,ll(O) 


io = (Al, 0,0, A4) 

^=(Ai+ 2;^/ >P>A4g,A4) 


exp IRX4 X exp RXi 



Pour les groupes connexes et simplement connexes d'algèbres de Lie 
04,8(q^;O) et 04,ii(O), les orbites génériques sont simplement connexes, 
on leur associe une seule représentation unitaire irréductible, il n'est 
pas nécessaire de considérer de fibré M et la construction usuelle pour 
les algèbres spéciales s'applique directement : ces groupes admettent 
un surgroupe quadratique. 

Pour les groupes simplement connexes d'algèbres de Lie 03,4(0) et ^4,2, 
les orbites coadjointes génériques ne sont pas simplement connexes. Il 
y a plusieurs représentations associées à une de ces orbites. 
Plus exactement, pour q = 03,4(0), f) = MX2 + MX3 est une polarisation 
en io = (0,r, 0), le caractère e*^° défini sur exp f) admet les prolonge- 
ments suivants à G{io). exp [) : 

Pour chaque e, la représentation vr^ = Ind^^^^) gxpf,x^o,£ associée à 
l'orbite G.io. D'après |A-L| . son ensemble moment est : 

= C^GIo 

qui ne dépend pas de e. 
On construit l'ensemble 

M = s;,„xR= {(£,£), £gb*,„, £GM} 

et on considère cet ensemble comme une partie de (g x M)*, on pose : 

g+ = g X R, 0++ = g+ X M. 

On définit les fonctions : 

Q* ^ (0+)* 
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'++ : M 




alors 



Et on définit 



donc 



U++{7:e) = -^TTe X {(?^^£)}■ 



Cet ensemble moment caractérise clairement la représentation vr^. 
Si maintenant, G est le groupe simplement connexe d'algèbre de Lie 
04,2, il admet une seule orbite ouverte (et dense) GIq = 0*g„. A cette 
orbite est associée comme ci-dessus une famille de représentations tt^ 



Ainsi /^^ — g* X {e} caratérise clairement tt^. 

Si G est résoluble, de dimension inférieure ou égale à 4 et décomposable, 
le même argument que dans le cas nilpotent permet de construire le 
surgroupe G~^^, l'application quadratique (p~^^ et l'application 
On peut donc dire : 

Proposition 5.2. Si G est résoluble, connexe et simplement connexe, 
de dimension inférieure ou égale à A, G admet un surgroupe quadra- 
tique. 

5.3. Le groupe de Mautner. 

Si G est résoluble de dimension 5, G peut ne pas être de type /. 
L'exemple le plus simple est donné par le groupe de Mautner G, con- 
nexe et simplement connexe, d'algèbre de Lie q = vect(Xi, X2, X3, X4, X^) 
vérifiant les relations de commutation suivantes : 



[Xi,X2] = -X3, [A:i,X4] = -aX4, [Xi,X3] = X2, [Xi,Xr,] = aX^, 



avec a irrationnel. 

L'algèbre de Lie q est spéciale, pour l'idéal a = Vect(X2, X3, X4). Une 
orbite générique est un cylindre de base une ficelle sur un tore : 




et 



TT X e 



GIo = G'.(0,r,0,i?cos^,i?sin^) 

= {(p, r ces 9, r sin 9, R cos{aq + 9),R sin(a;ç + 9))} 
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A cette orbite, on peut associer les représentations vr^g = Indg^p^^e*" 
dont l'ensemble moment est : 

= ConvGIo 

= {i = {xi,X2,X3,X4,X5), xl + xl<r'^, xl + xl < R^} 
= M X Conv(T2) 

qui ne dépend pas de 9. 

Supposons qu'il existe une suralgèbre g"*", une application de degré au 
plus 2, ^ : — > (g+)* telle que p o = id^,^^, ^{GIq) = G+.^{io), 
montrons que cette application (p ne peut pas séparer les orbites deux 
points io et sur le tore T^, c'est à dire de même r et R. 
Si ifxi est l'application (pxi{x2, x^, x^, x^) = (p{xi,X2, x^, x^, x^), (p^i est 
une application polynomiale de degré inférieure ou égale à 2. Posons 
= v2xi(T^), c'est un compact. Puisque, pour tout £o de et tout 
Xi réel, G.io fl {{xi} x M^) est dense dans {a;i} x et que l'orbite est 
un cylindre alors ip{G.£o) = \^ K^^. 

Si £o et £q sont deux points du tore, les adhérences de l'image par ip 
de leurs orbites coïncident et on ne peut pas séparer ces orbites par les 
enveloppes convexes fermées de leur image par tp. 
Le groupe de Mautner n'admet pas alors de surgroupe quadratique. 

6. Le groupe de Lie G = SL{2,R) 

Le premier exemple de groupe non résoluble et non compact est le 
groupe SL{2,M.) ou son revêtement universel S'L(2,M). L'algèbre de 
Lie s[(2,M) a pour base : 

avec les relations de commutations : 

[Xi,X2] = X3, [X2,X3] = — Xi, [XijXs] = X2. 

6.1. Représentations associées aux orbites. 

On ne s'intéresse ici qu'aux représentations génériques appelées depuis 
BargI , série principale et série discrête. 

6.1.1. Série principale. On note vr^^e, /i>0,£ = 0,l, la représentation 
de la série principale dont l'orbite associée est 

0^ = {£ = {x,y,z), x'' + y''-z^ = fx''} 

L'orbite 0^ est l'hyperboloïde à une nappe. Cette représentation est 
réalisée dans l'espace L^([0,47r[) dont la base orthogonale est 

(Pn{9) = e*"^'^^,n pair (si e = 0),n impair (si e = 1). 
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L'action de 5l(2,M) est : 

dTrf,,e{X2)(fn = ^((1 + ^A^ + n)(pn+2 -{l + i/i- n)(pn-2) 

d7Ti^,e{Xl)ipn = + î/i + n)(pn+2 + (1 + i/X - n)ipn-2) 

L'ensemble moment est, pour tout /i et tout e : 

4,, = 0* = Conv(O^). 

1 1 

6.1.2. Série discrète holomorphe. On note 7r,m, m G -N, m > -, la 
représentation de la série discrète dont l'orbite associée est 

0^ = = (x, y, 2;), + - = -m^ et 2; < 0}. 

Pour tout m > 0, 0^ est une nappe de l'hyperboloïde à deux nappes et 
0^ est associée à une représentation seulement si elle est entière, c'est 

à dire si 2m est entier et m > -. Cette représentation est réalisée dans 

l'espace L^o;(D, /x^) des fonctions holomorphes sur le disque unité 

D = [w = u + iv, \w\^ < 1} 

de carré intégrable pour la mesure /im du disque unitaire D donnée par 
4 

/irn — -j — (1 — \w\'^)'^^~'^dudv et dont la base orthogonale est 



4r 

(pn{w) = tw", n e N, w e D et ||</7„| 



2 TT (2m-2)!n! 



4"*-! {2m + n- 1)!' 

L'action de s[(2,M) est la suivante : 

d7rm{Xs)w'' = -i{n + m)w"' 
f— 11™ 

(i7r^(X2)w" = ^^i((n + 2m)w"+' + nw""^) 

L'ensemble moment permet de retrouver m, c'est : 

I-rrm = = (a:^, y, z), x^ + y^-z'^ < -m^ et z < 0} = Conv(O^). 

(Ici, nous avons choisi d'associer à l'orbite 0^ une représentation in- 
duite holomorphe "non tordue". L'égalité ci-dessus est la raison de ce 
choix) . 
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6.1.3. Série discrète antiholomorphe. Il suffit de remplacer dans la série 
discrète holomorphe m par —m et w par w. L'ensemble moment de 

TT^rn est : 

h.m = Conv(O_„0 = {i = {x, y, z), x^ + y^-z^ < -m^ et z > 0}. 

En plus de ces représentations, il y a la représentation triviale, les 
représentations limites de la série discrète, limite de la série principale 
et celles de la série complémentaire. Ici nous ne considérerons pas ces 
représentations "non génériques". 

6.2. Définition de G"*" et séparation des orbites. 

Soient 

0+=5l(2,M)©R et G+^SL{2,R)xR 

Le sous groupe R est central dans donc toute représentation unitaire 
irréductible tt"*" de est scalaire sur ce sous groupe et par conséquent 
sa restriction à S'L(2,M) : '!^^^2R) irréductible. 
Réciproquement, toute représentation irréductible tt de SL{2,M.) se 
prolonge en des représentations tt^ = tt x e*" de G~^. On a alors 

4+ = X {«}• 

On se donne aussi l'application non linéaire de degré 2 : 

{x, y, z) ^ {{x, y, z),x^ + y''- z") = (£, n^t)) 

Soit p : (0''")* — > 0* la projection canonique, transposé de l'injection 
canonique de de g dans g"*", alors po cp — idg* et puisque la fonction fj,^ 
est invariante , alors : 

^{GI) = G+^ii) et <è{7T^u,e) = TT^,. X e*^', $(7r±^) = 7r±^ x e^-'. 
On notera : 

Ggen = {tT^.s} U {vT-tm}. 

Proposition 6.1. Soient tt et tt' dans Ggen telles que : 
alors : 

1) Les orbites coadjointes associées à tt et tt' coïncident. 

2) Ou bien tt et tt' sont toutes deux dans la série principale et 

'^='^ti,e, tt' = ^|t,e'> {e = £' OU EJ^e'). 

3) Ou bien tt et tt' sont toutes les deux dans la série discrète et 
TT — TT . 

Remarque: 

Comme dans le cas résoluble non exponentiel, on sait associer à une 
représentation une orbite mais à certaines orbites on associe deux représen- 
tations. On a maintenant séparé les orbites mais pas les représenta- 
tions. On les sépare dans la section suivante, en appliquant une méth- 
ode similaire à celle des sections précédentes. 
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6.3. Définition de G"*"^ et séparation des représentations. 

Soit 

G++ = SL{2, M) X R X Z/2Z. 
Son algèbre de Lie est : 

0++ = 0+ = 51(2, K) X R. 

Soit 

On construit les ensembles : 

{f si < 
G 0*, £ = < e si /i^ > 0, ^ 7^ 
[ si £ = 

M++ = {(f,t,£), £g(0+)*,5 = ±1} 
On prolonge l'application ip'^ en ip'^^ : M — M^"*" en posant 

On a : 

(^++(5.(£,£)) = 5.V9++ 

On note enfin : 

$++(7r;,,,) = 7r++ où 7r++(^,t,s) = x.(s)e**''7r^,„ Xs(s) = s'. 

et 

$++(vr™) = 7r++, où 7r++(c/,t,s) = e^*'"'7r^(c/). 
Proposition 6.2. 1) On a : 

2) ^^^{In^,, X {5}) = /$+(^^,,) X {e} et = h+in^) x {0}- 

3) <^++(/^^,, X {£}) = X {e'}) alors tt^,,^ = v,^'- 

4) 5^ TT tt' son^ cîans G^en a^ors 

/$++(7r) = -^$++(7r') seulement si tt = tt'. 

On a ainsi prouvé que SL(2, R) admet un surgroupe quadratique 
G~^^ (non connexe). 

Cependant, dans cette construction, l'algèbre 0"''^ de G^^ coïncide avec 
0"*". L'existence du surgroupe quadratique G^"*" et de l'application 
utilise l'identification de e qui ne provient pas d'une application mo- 
ment habituelle. Cette construction diffère donc de celle de la section 
précédente pour les groupes résolubles de petite dimension. Elle ne 
s'applique pas non plus au revêtement universel SL{2,M.) de SL{2,'R). 
Pour ces raisons, on considère maintenant un autre surgroupe quadra- 
tique (connexe) pour SL{2,'R). On pose : 

G++ = SL{2, R) X R2 
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et 

Donc 
Par suite 

/$++(^^,,) = ¥^++(4^,, X {£}) = 4^^, X {(/x2,£)} 

et /$++(^^) = /^^ X {(m^O)} 
Ainsi, définit un surgroupe quadratique de 5'L(2,]R). 
Proposition 6.3. On a : 

U++{7T^,,) = s'i et seulement si n^^e = 

6.4. Le revêtement universel de SL{2,'K). 

Notons SL{2,M.) le revêtement universel de 5*17(2, M). Les représen- 
tations TT^^e, (e G [0, 2[) de la série principale de SL{2,'R) se réalisent 
dans L^([0,47r[), mais au lieu de considérer une base {(pn) telle que : 

V9„(27r) = ±V9„(0) = e^"Vn(0), ^ = 0, 1, 

on considérera une base de fonctions telles que : 

(^„(27r)=e^"Vn(0), £e[0,2[. 

Par exemple : 

L'action de s[(2,M) s'écrira alors : 

dTt,j„e{X2)(p„ = ^ (^(1 + iyU + n + |)(^n+2 - {1 + i/I - U - ^)'fin-2^ 
1 / £ £ \ 

dn^^s{Xi)(fn = -y{l + iti + n + -)(Pn+2 + {1 + ifJ. - n - -)'~Pn-2j- 
Son ensemble moment est toujours : 

7^e,, = Conv(O^) = 5*. 

Pour la série discrète holomorphe tt^ et antiholomorphe 7f_m, elles 

se réalisent dans l'espace L^(D, /i^) des fonctions holomorphes sur le 

4 

disque unité D, pour la mesure //^ = 4^^^ ~ Iwl^)^"*"^, mais pour tous 

les m > -. 
2 

Les formules sont les mêmes que pour la série discrète de SL{2,M.), 
l'ensemble moment est l'enveloppe convexe : 

7^±^ =Conv(0±J = + y" - < -m^ ±^ < 0} 
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(Il n'y a plus de condition d'intégralité sur l'orbite Om). 
Posons donc : 

(5++ = SL{2,R) X 

et définissons : 

^++ ^ ^++^ $++(7f^,,) = 7^^,, X e''^' X e-, G [0, 2[) 

et 

Alors : 

Proposition 6.4. définit un surgroupe quadratique, simplement 

connexe du revêtement universel 5'L(2,M) de S'L(2,M). 

Remarque: Les orbites coadjointes du groupe SU{2) sont des sphères, 
leur enveloppe convexe les boules correspondantes. On en déduit im- 
médiatement que l'ensemble moment d'une représentation unitaire irré- 
ductible de SU (2) caractérise cette représentation (c.f [KirllWill IA-L| ). 
Puisqu'une algèbre de Lie g de dimension inférieure ou égale à 4 est soit 
résoluble, soit le produit semi direct d'une algèbre de Lie semi simple 
par un idéal résoluble mais, dans ce dernier cas, les seules possibilités 
sont : 

5[(2,M), su(2), s[(2,M)xM ou su(2) x R. 
On a finalement prouvé : 

Corollaire 6.1. Si G est un groupe de Lie connexe et simplement con- 
nexe de dimension inférieure ou égale à 4, alors G admet un surgroupe 
quadratique. 

7. Le GROUPE G = 50(4) x R^ 

Dans cette section, on étudie le cas d'un groupe produit semi direct 
d'un compact par un sous groupe normal abélien, tel que les invariants 
repérant les orbites génériques ne sont pas quadratiques mais pour 
lequel nos méthodes donnent un surgroupe quadratique. 

Soit 

G = 50(4) X R^ 

l'action de 50(4) sur R^ étant donnée par l'action usuelle. Son algèbre 
de Lie q est de dimension 10 et est définie par : 

= Vect(^T„ 1 < ï < 4, Rij, 1 < ï < j < 4^ , 

où (Tj) est la base canonique de R^, et Rij la matrice Eij — Eji de so(4). 
Les éléments de g vérifient : 

[Rij, Rki] = àjkRii + SiiRjk — SjiRik — SikRji 
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et 

[Rij,Tk] = ôjkTi—ôikTj, [Ti,Tj] = 0, avec la convention Rji = —Rij. 

L'idéal abélien de g est o = Vect(Tj). Pour tout i G 0*, on note 
£ = it,r) = {ti,rjk). L'action coadjointe est donnée par les champs de 
vecteurs : 



Rij = ^ y^X^jkru+Surjk-Sjirik-Si, 



d d d 



et 

d 



Ti = ^{ôikti - ôiitk 



On note | | la norme euclidienne de R'^ et u.v le produit scalaire des 
vecteurs u et v. Si £ = (t, r) est tel que = ^^^^ 7^ 0, on peut par 
l'action de S'0(4), trouver dans l'orbite de £ un vecteur de la forme 
((0,0,0, |t|),r'). 

L'action du sous groupe exp(l^ect(Ti, T2, T3)) permet de se ramener 
à un point ((0, 0, 0, (r'^, r^g, r23, 0, 0, 0)) de l'orbite de £. Enfin, 
l'action du sous groupe S'0(3) de SO{A) qui laisse stable (0,0,0, |i|) 
permet de se ramener à : 

4 = (to, ro) = ((0, 0, 0, {R, 0, 0, 0, 0, 0)), R^ = r'i^^ + r'i^^ + r'i^\ 

Les orbites génériques sont donc celles des points tels que \t\ > 0, 
iî > 0. Elles sont repérées par les nombres a = \t\ et b = aR, et sont 
de dimension 8 (c.f |Raw| ). L'algèbre de Lie du stabilisateur de £0 est : 

0(4) = Vect(i?i2,T4). 

La fonction (polynomiale quadratique) (t, r) t— > est clairement in- 
variante et donne la valeur de a. Posons alors : 

{r A t)i = ^y^^Sjjkirjkti, 

j,k,l 

{sijki est nul sauf si = {1,2,3,4} et c'est la signature de la 

permutation {i,j,k,l)). On définit ainsi un vecteur de M^, orthogonal 
à t et tel que, par exemple : 

iî-(r At)i = -(r At)2, Tf(r A t)i = 

Ruir At)2 = {r At)i, Tf(r A t)2 = 

Ri^irAt)^ = 0, Tf(r A t)3 = 

R-2{rAt)4 = 0, Tf(r A t)4 = 0. 

La fonction (polynomiale de degré 4) (t, r) 1-^ |r At|^ est donc invariante 
et sa valeur sur l'orbite de (to^'^o) est a^R^ = 6^. On a prouvé que 
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l'orbite de £o est (si a > et 6 > 0) 

Oa,b = G£o = {{t,r), tels que = |r A = 6^}. 

Elle est associée à une représentation si elle est entière, c'est-à-dire 
■ b 

SI — est un entier naturel. 

a 

En içj, une polarisation (complexe) positive est donnée par : 

p = ac + VectciRi2, R13 - ^^23)- 

On associe donc à GIq l'induite holomorphe du caractère e*^°i'' : 

TT = Ind*^ e*^"'" 

Il est plus simple d'effectuer une induction par étage et de réaliser vr^ 
comme l'induite unitaire de la représentation pb/a x e*^°if du groupe 

b 

5*0(3) K a, où pb/a est la représentation unitaire de dimension 2 — h 1 
de S0{3). 

De plus on a (c.f |A-L| ) : 

^■^ab ~ Conv(G.£o) C {{t,r), tels que \t\ < a}, 
car la fonction (t,r) 1— > |tp est convexe. 

Réciproquement, soient Ri et R2 deux nombres positifs. Pour tout 
s de ]0, 1[, les points 

((0,0,0,a),(0,iîi,0,0,0,0)) et = ((0, 0, a, 0), (iîi, ^^f— ^, 0, 0, 0, 0)) 

1 — s 

sont sur la même orbite, Oa,Ria, caractérisée par a et Le point 

£(s) = si+{l-s)£' = ((0, 0, (l-s)a, sa), {{l-s)Ri, R2-{l-s)Ri, 0, 0, 0, 0)) 

appartient à l'enveloppe convexe de Oa,Ria- En faisant tendre s vers 1, 
on en déduit que le point 

£(l) = ((0,0,0,a),(0,iÎ2,0,0,0,0)) 

qui est dans l'orbite Oa,R2a caractérisée par a et R2. 

En particulier, J^r^ ^ contient l'adhérence de l'union de toutes les or- 
bites Oafi', qui est {(t,r), tels que \t\ = a}. Par convexité, pour tout 6, 

/^^^ = Conv(Oa,fe) = {(t,r), tels que \t\ < a}. 

Les représentations génériques du groupe G ne sont pas séparées par 
leur ensemble moment. 

Posons maintenant 

0+ = g X = K b et G+ = G x 
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l'action de G sur l'idéal abélien M} étant simplement l'action usuelle 
de SO{A) sur M}. Notons {Wi) la base de cet idéal et {t,r,w) un point 
de q'^*. On a maintenant, par exemple : 

^_ d d d d 

Ri2 = ri3a '^23^ \- ru-^ r24^ h 

dr23 dri3 dr2A dru 

d d d d 

+ ^177^ ^2 77— + ""^IT; 



dt2 dti dw2 dwi 



^ d d d 

T{ ^t2^ + h^ + U 



dri2 dri3 dru 
TTT- d d d 

=^2^ ^^3^ 



' dri2 dri3 dru 
On en déduit immédiatement que les fonctions polynomiales suivantes 
sont invariantes sous l'action de : 

{t,r,w) I— > \t\'^, \w\'^, t.w, {r At).'w. 

Maintenant, par action de 5*0(4), une orbite coadj ointe générique de 
contient un point de la forme (to, r, wq) avec to = (0, 0, 0, a) [a > 0) 

et Wq — (0, 0, W3, -) (w3 > 0). On a donc, sur cette orbite, \t\ ~ a, 

CL 

w.t = c et l-u^l = \ H — - = 6, ou W3 = > 0. En agissant 

V ' a 
avec l'idéal a + b, on peut enfin se ramener à ro = (iî, 0, 0, 0, 0, 0) {R 

quelconque), on pose donc d = {r /\t).w = Raw^, ou R 



.2 



c 

Les orbites coadj ointes génériques de sont donc les orbites 

0^^^^ = {(i, r, u»), tel que |i| = a, \w\ — h, t.w — {rAt).w — d}, 

pour a > 0, b > 0, ab > c. Elles sont de dimension 10, le stabilisateur 
de {to,rQ,wo) ayant pour algèbre de Lie : 



2 

0+((to, ro, wo)) = Vect{Ri2, T4, -T^ + aW^, -T3 - aW^). 

Ci a 

Définissons maintenant la fonction (/? : g* — > g"*"*, polynomiale 
de degré 2, par 'f{t,r) = (t,r,r At). Si Oa,b est une orbite coadjointe 
générique de G, on a Oa,b = G.{to,ro) et G^ .ip{{to,ro)) = 0^^o,b2- 
n'a donc pas G^.(p{io) = (p{G.io)- Cependant : 
^Xb,o,b^ n ^(S*) = G^-Viito, ro)) n vis*) 

= {{t, r, w), \t\ = a, \w\ = b, w = {r A t)} 

= ^{Oa,b). 

L'orbite 0'*'in(,2 est entière si et seulement si - est un entier naturel, 
à cette orbite on associe la représentation : 

^a,6,0,62 — ^'^^SO(2)t<alxb e « X e X e 
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b 



induite du caractère exp(ï- xitolaXï('^oAto)lb) du groupe 50(2) k ok b 

a 

associé à la polarisation so(2) ik a t< b en (to, ^"0, wq). 

On note $(7ra 5) cette représentation, son ensemble moment est : 

= Conv(0+j,o^^2)- 

Par convexité des fonctions t h-* |tp etw 1— > \w\'^, on a immédiatement : 

^-fCTa.b) C {(t,r,w), |t| < a, \w\ < b}. 
Comme l'égalité est atteinte sur ip{Oa,b), on a: 

a = sup{|t|, (t,r,w) e 6 = sup{|w|, (t, r, w) G /$(^^ ,)}. 
Les ensembles moments /$(7r„ caractérisent donc les représentations 

Proposition 7.1. 

Le groupe G = 5*0(4) k M"^ admet un surgroupe quadratique. 
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